Trong suốt cuộc đời hoạt động của mình, Vũ Ngọc Nhạ có nhiều tên gọi như Pièrre Vũ Ngọc Nhạ (tên Thánh), Vũ Ngọc Nhã, Hoàng Đức Nhã, Vũ Đình Long (còn gọi là Hai Long), hay như bí danh Lê Quang Kép. Ngoài ra ông còn được biết với các biệt danh như Thầy Bốn (do bà con Giáo xứ Bình An đặt cho vì ông là thầy giảng đã tu 4 chức), Ông cố vấn (do ông từng được xem là cố vấn của một số quan chức cao cấp của Việt Nam Cộng hòa).

Ông tên thật là Vũ Xuân Nhã, sinh 30 tháng 3 năm 1928 tại xã Vũ Hội, huyện Vũ Thư, tỉnh Thái Bình (quê cha) nhưng từ nhỏ sống tại quê mẹ - Giáo xứ Phát Diệm, Ninh Bình.

Thời thanh niên, ông có vào học ở trường dòng một thời gian, rồi lên Hà Nội để học thi bằng Tú tài. Đầu năm 1945, sau cuộc đảo chính 9 tháng 3, ông làm quen với một cán bộ Việt Minh là Hoàng Minh Vân[1] và được người này hướng dẫn tham gia cách mạng

Cuối năm 1946, ông tham gia chiến đấu chống Pháp tái chiếm Đông Dương tại mặt trận Hà Nội. Sau khi Việt Minh rút khỏi Hà Nội, ông trở về Thái Bình, tham gia công tác dân vận của chính quyền Việt Minh tại địa phương, phụ trách khối Công giáo vận, với bí danh là Lê Quang Kép. Năm 1951, để tiện hoạt động trong vùng bị Pháp kiểm soát, ông đã nhờ người em trai làm một chứng minh thư giả mang tên Vũ Ngọc Nhạ.

Năm 1953, qua sự giới thiệu của Bí thư Liên khu ủy Khu 3 là Đỗ Mười, ông được Trần Quốc Hương tuyển chọn vào cơ quan tình báo quân sự để đào tạo cán bộ hoạt động trong giới Công giáo.